Dương Quảng chào đời năm 569, tức năm Nguyên Hòa thứ 4 dưới thời Vũ Đế nhà Chu với cái tên Dương Anh. Ông là con trai thứ hai của Tùy Văn Đế Dương Kiên với Hoàng hậu Độc Cô Già La, con gái Tướng quân Độc Cô Tín thời Bắc Chu.[3] Ngoài người anh Dương Dũng ra, ông còn có hai người chị là Dương Lệ Hoa và một người nữa không rõ tên. Lúc bấy giờ, Dương Kiên nắm giữ tước vị "Tùy Quốc Công" được thừa hưởng từ người cha quá cố của mình và làm quan đại thần trong triều đình nhà Bắc Chu. Vào năm 573, trưởng tỷ của ông Dương Lệ Hoa được Bắc Chu Vũ Đế kén chọn làm Thái tử phi của Thái tử Vũ Văn Uân.[4] Dương Kiên qua đó trở thành bố vợ của hoàng đế tương lai, quyền uy vì thế mà ngày một tăng. Dương Anh tuy còn nhỏ tuổi, chưa lập công trạng nhưng nhờ vào gia thế hiển hách mà được trọng vọng, phong tước vị Nhạn Môn Quận công.[5]

Sau khi Bắc Chu Vũ Đế qua đời vào năm 578, Vũ Văn Uân nối ngôi kế vị tức Bắc Chu Tuyên Đế. Dương Lệ Hoa được tấn phong làm hoàng hậu còn Dương Kiên với thân phận là cha hoàng hậu, cũng được bổ nhiệm làm Thượng trụ quốc và Đại Tư mã. Vị hoàng đế trẻ sớm sa vào vui chơi hưởng lạc và sau khi lên ngôi được một năm thì bỗng nhiên truyền ngôi cho con trai mới 5 tuổi và trở thành Thái thượng hoàng, tự xưng là "Thiên Nguyên hoàng đế" dù lúc đó chỉ mới có 20 tuổi.[6] Tuyên Đế sau khi truyền ngôi trở nên đặc biệt hoang phí, hoang tưởng tự đại và không giữ chừng mực. Mối quan hệ giữa hoàng đế và Dương Kiên cũng ngày càng trở nên căng thẳng. Tuyên Đế nghi ngại tài năng của nhạc phụ và đã tính đến việc giết chết Dương Kiên song cuối cùng đã không thực hiện. Vào năm 580, khi đang chuẩn bị lên kế hoạch tiến đánh Nam Trần, thống nhất Trung Quốc thì Tuyên Đế đột ngột lâm bệnh nặng và qua đời, Dương Kiên trở thành thừa tướng nắm quyền nhiếp chính, dần dần thâu tóm hết mọi quyền lực trong triều.[7]

Năm 581, Dương Kiên cướp ngôi nhà Bắc Chu, lập ra nhà Tùy[8][9]. Dương Anh khi đó mới 13 tuổi, được phong làm Tấn Vương, Trụ quốc, Tổng quản Tĩnh châu[10]. Không lâu sau, ông được thăng làm Vũ Vệ Đại tướng quân, Thượng trụ quốc, Hà Bắc Đạo Hành Đại Thượng thư lệnh, Văn Đế lại ra lệnh cho Hạng Thành Quận công Vương Thiều[11] và An Đạo công Lý Triệt làm phụ đạo. Cũng trong năm này, Tùy Văn Đế đổi tên Dương Anh thành Dương Quảng.

Dương Quảng thông minh hiếu học, được Văn Đế ưu ái và nhiều đại thần coi trọng. Văn Đế có lần bí mật sai Lai Hòa xem tướng các con trai của mình, Lai Hòa nói trên người Dương Quảng có song long cốt, số về sau sẽ phú quý đến không thể nói hết. Trước mặt cha mẹ, Dương Quảng tỏ ra tiết kiệm và cung kính, được nhiều người xưng tụng là có hiếu đạo.

Năm 582, do sự sắp đặt của cha, Dương Quảng thành hôn với Tiêu thị, con gái của Tây Lương Minh Đế (vua của một chính quyền cát cứ ở miền tây nam Trung Quốc dưới sự bảo hộ của nhà Tùy). Tiêu thị hơn ông ba tuổi, được phong làm Tấn vương phi[12]. Sử sách ghi nhận rằng Dương Quảng rất sủng ái và kính trọng Tiêu phi.

Năm 584, sau một loạt những chiến thắng quân sự của nhà Tùy trước quân đội Đột Quyết, Khả hãn Sa Bát Lược của Đột Quyết là A Sử Na Nhiếp Đồ phải xin thần phục triều Tùy. Dương Quảng kiến nghị với Văn Đế không nên nhận hàng, mà thay vào đó đem đại binh tận diệt Đột Quyết, nhưng Văn Đế không chấp thuận. Năm 585, Khả hãn Sa Bát Lược bị thuộc cấp là Đạt Đầu nổi dậy làm phản, lại e ngại thế lực của Khiết Đan ngày càng lớn mạnh, nên sai sứ đến nhà Tùy xin cáo cấp, và xin dời bộ lạc về phía nam, vùng Bạch Đạo Xuyên. Văn Đế mệnh cho Dương Quảng đem binh lính và lương thực, quần áo, thuốc men đến cung cấp cho. Với sự giúp đỡ của nhà Tùy, Sa Bát Lược đánh bại được các lực lượng chống đối[13].

Năm 586, Tùy Văn Đế đổi phong Dương Quảng làm Thành Đài Thượng thư lệnh, sau đó bái làm Ung châu mục, Nội sử lệnh. Năm 588, Văn Đế lập hành tỉnh Hoài Nam, đặt trụ sở tại Thọ Xuân[14] và để Dương Quảng làm Thượng thư lệnh, trông coi công việc tại đất ấy[13].